1
先進生成式AI的生態格局
PolyU COMP5511Lesson 11
00:00

生態格局中的 先進生成式AI 已從獨立的單一模型演變為由 複合型人工智慧系統所定義的多層次生態系統。此轉變不再僅侷限於簡單的概率性詞元預測,而是發展為能協調基礎模型(FMs)、模組化外掛程式與跨媒體合成的系統。

運算/雲端基礎設施大語言模型(LLMs)擴散模型音訊/程式碼協調與代理層

生成式架構分類

  • 基礎設施層:提供訓練與高速推理所需巨量運算能力的硬體主幹(如GPU/TPU)與雲端服務。
  • 模型層:GPT-4、Llama 3 和 Stable Diffusion 等基礎模型(FMs),作為不同媒介的專用引擎。
  • 協調層:管理邏輯、資料流與檢索的框架,使模型從「凍結」權重轉變為具備 即時情境感知能力的系統。

媒介融合

技術趨勢聚焦於統一架構——主要是 Transformer 與擴散模型——以建立共享的潛在空間。這使得文字、影像與影片可透過單一整合介面被連續處理,數學上表示為不同潛在流形之間的映射關係 $M_{text} \leftrightarrow M_{visual}$。

結構演進
我們正從僅依賴訓練資料參數 $\theta$ 的「閉卷」模型,轉向使用外部環境狀態 $E$ 來解決複雜推理任務的「開卷」系統,其運作方式為 $P(y|x, E)$。
Python 實作範例